ostree-repo-pull: Take correct out path on error

Like every other error return path in this function, jump to the `out`
label on error here. Returning directly will cause leaks.

Spotted by reading the code, not actually necessarily encountered in the
wild.

Signed-off-by: Philip Withnall <pwithnall@endlessos.org>

Merge pull request #2560 from smcv/sigpipe

test-prune: Read to the end of cut(1) output

Merge pull request #2559 from smcv/shebang

Fix shebang in s390x-se-luks-gencpio

test-prune: Read to the end of cut(1) output

If we use head(1) to take only the first two lines, then cut(1) and
earlier pipeline entries are killed by SIGPIPE (if they have not already
terminated), and that's flagged as an error under `set -o pipefail`.
Use an equivalent sed command to take exactly the second line, but
without SIGPIPE.

Signed-off-by: Simon McVittie <smcv@debian.org>
Gbp-Pq: Name test-prune-Read-to-the-end-of-cut-1-output.patch

s390x-se-luks-gencpio: Use interoperable path for bash

On OSs that do not consistently merge /usr/bin with /bin, the path to
bash has traditionally been /bin/bash.

Signed-off-by: Simon McVittie <smcv@debian.org>

s390x-se-luks-gencpio: Fix shebang syntax

An indented `#!` is technically meaningless, although many shells will
run text files with the shell if asked to execute them.

Signed-off-by: Simon McVittie <smcv@debian.org>

Merge pull request #2557 from lucab/ups/apidoc-includes

apidoc: add missing page includes

apidoc: add missing page includes

This fixes some missing sections in API reference, adding all the
relevant includes.

Merge pull request #2556 from ostreedev/release-2022.2

Release 2022.2

configure: post-release version bump

Release 2022.2

Merge pull request #2532 from lucab/ups/repo-mode-bare-split-xattrs

lib/core: introduce 'bare-split-xattrs' mode

tests/basic-bare-split-xattrs: add fixture, check read logic

lib/commit: disallow writing content in 'bare-split-xattrs' mode

This prevents writing content into 'bare-split-xattrs` repository,
while carving some space for experimenting via a temporary
`OSTREE_EXP_WRITE_BARE_SPLIT_XATTRS` environment flag.

lib/repo: read split xattrs content from file-xattrs-link objects

lib/core: introduce 'bare-split-xattrs' mode

lib/core: introduce two new object types for split xattrs

This adds two new object types for storing xattrs separately from
content objects.

`.file-xattrs` are regular files storing xattrs content, encoded as
GVariant. Each object is keyed by the checksum of its content, allowing
for multiple references.

`.file-xattrs-link` are hardlinks which are associated to file objects.
Each object is keyed by the same checksum of the corresponding file
object. The target of the hardlink is an existing file-xattrs object.
In case of reaching the limit of too many links, this object could be
a plain file too.

Merge pull request #2554 from ostreedev/dependabot/submodules/libglnx-c71f7ae

build(deps): bump libglnx from `88da8dd` to `c71f7ae`

build(deps): bump libglnx from `88da8dd` to `c71f7ae`

Bumps libglnx from `88da8dd` to `c71f7ae`.

---
updated-dependencies:
- dependency-name: libglnx
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #2536 from saqibali-2k/pr/prune-commit-only

src/ostree: Add --commit-only option to ostree prune

tests/test-prune.sh: Use TAP API

Change tests to use the newer TAP API introduced
in https://github.com/ostreedev/ostree/pull/2440

tests/test-prune.sh: expand testing for --commit-only

Let's add additional tests to expand the test
suite for the new --commit-only functionality.

man/prune, bash: Add --commit-only flag for ostree prune

Update the man page and the auto-complete script
to include the --commit-only flag

src/ostree: Add --commit-only option to ostree prune

Recently we have noticed exceedingly long execution times
for multiple invocations of ostree prune. This is a result of
calculating full reachability on each invocation.

The --commit-only flag provides an alternative strategy. It will only
traverse and delete commit objects to avoid the more expensive
reachability calculations. This allows us to chain multiple --commit-only
commands cheaply, and then follow with a more expensive ostree prune
invocation at the end to clean up orphaned meta and content objects.

Merge pull request #2548 from cgwalters/mtree-load-ensured

Merge pull request #2552 from ostreedev/dependabot/submodules/libglnx-88da8dd

build(deps): bump libglnx from `803adaf` to `88da8dd`

build(deps): bump libglnx from `803adaf` to `88da8dd`

Bumps libglnx from `803adaf` to `88da8dd`.

---
updated-dependencies:
- dependency-name: libglnx
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #2549 from ostreedev/mwleeds/fix-partial-delta-fetches

Fix marking static delta commits as partial

lib/repo-refs: Remove misleading newline

Fix marking static delta commits as partial

This patch makes it so that we mark the .commit file from a static delta
as partial before writing the commit to the staging directory. This
exactly mirrors what we do in meta_fetch_on_complete() when writing the
commit on that codepath, which should lend some credibility to the
correctness of this patch.

I have checked that this fixes an issue Flatpak users have been
encountering (https://github.com/flatpak/flatpak/issues/3479) which
results in error messages like "error: Failed to install
org.freedesktop.Sdk.Extension.texlive: Failed to read commit
c7958d966cfa8b80a42877d1d6124831d7807f93c89461a2a586956aa28d438a: No
such metadata object
8bdaa943b957f3cf14d19301c59c7eec076e57389e0fbb3ef5d30082e47a178f.dirtree"

Here's the sequence of events that lead to the error:
1. An install operation is started that fetches static deltas.
2. The fetch is interrupted for some reason such as network connectivity
   dropping.
3. The .commit and .commitmeta files for the commit being pulled are
   left in the staging dir, e.g.
   "~/.local/share/flatpak/repo/tmp/staging-dfe862b2-13fc-49a2-ac92-5a59cc0d8e18-RURckd"
4. There is no `.commitpartial` file for the commit in
   "~/.local/share/flatpak/repo/state/"
5. The next time the user attempts the install, libostree reuses the
   existing staging dir, pulls the commit and commitmeta objects into
   the repo from the staging dir on the assumption that it's a complete
   commit.
6. Flatpak then tries to deploy the commit but fails in
   ostree_repo_read_commit() in flatpak_dir_deploy(), leading to the
   error message "Failed to read commit ..."
7. This happens again any subsequent time the user attempts the install,
   until the incomplete commit is removed with "flatpak repair --user".

I will try to also add a workaround in Flatpak so this is fixed even
when Flatpak links against affected versions of libostree.

mtree: Load traversed subdirs when creating parents

I'm working on enhancing the ostree-rs-ext test suite and I hit
a bug where walking a mtree and creating a parent would fail to
load lazy intermediate directories, e.g.:

/ -> usr -> bin

If we walked we'd load `/` but keep `usr` lazy, and then invalidation
would crash because it wasn't loaded.

If we're going to mutate a subdir, we need to have all the parents
loaded.

I know this is missing tests, but...it's a bit tedious to do with
the existing C tests.  Eventually soon we'll execute on merging
all 3 repos, and better share test suites.

mtree: Use declare-and-initialize style

Prep for further work.

Merge pull request #2546 from cgwalters/drop-aggregate-return

build-sys: Drop `-Werror=aggregate-return`

build-sys: Drop `-Werror=aggregate-return`

This is failing for me as of recently but only when I build
without optimization.  I don't think we've ever written any
code that returned a large structure by value.

Let's just drop this one.

Merge pull request #2545 from dbnicholson/lgtm-deps

.lgtm.yml: Fix gpgme dependency

.lgtm.yml: Fix gpgme dependency

Since Ubuntu 18.04, libgpgme-dev is the real package and libgpgme11-dev
is a virtual package provided by it. Apparently LGTM running on Ubuntu
20.04 no longer resolves the virtual package:

```
WARNING: Package 'libgpgme11-dev' requested by configuration file was not found
```

That ends up causing the build to fail:

```
configure: error: Need GPGME_PTHREAD version 1.1.8 or later
```

Merge pull request #2542 from cgwalters/tar-error-prefixing

lib/tar: Add some error prefixing

lib/tar: Add some error prefixing

We're trying to debug a problem with a tar stream with hardlinks,
and I think this will be helpful.

Merge pull request #2541 from melix99/find-remotes-fix-typo

man: Fix typo in ostree-find-remotes

Merge pull request #2540 from melix99/switch-fix-typo

man: Fix typo in ostree-admin-switch

man: Fix typo in ostree-find-remotes

man: Fix typo in ostree-admin-switch

Merge pull request #2539 from chergert/main

lib/bootloader: use ot_journal_print() instead of sd-journal

lib/bootloader: use ot_journal_print() instead of sd-journal

This needs to use the helper so that USE_LIBSYSTEMD still works as
expected.

lib/util: add syslog.h for ot_journal_print()

If we aren't including sd-journal, we may need this too.

Merge pull request #2538 from cgwalters/dirmeta-not-floating

core: Mark `ostree_create_directory_metadata` as `(not nullable)`

Merge pull request #2491 from nikita-dubrovskii/secure-execution

s390x: add secure-execution support

core: Mark `ostree_create_directory_metadata` as `(not nullable)`

So I can drop an unnecessary use of `unwrap()` in Rust.

s390x: add LUKS keyfile to 'sd-boot'

This allows to use Secure Execution with LUKS encrypted boot disk,
key and cryptab are stored only in 'sd-boot' encrypted image.

Signed-off-by: Nikita Dubrovskii <nikita@linux.ibm.com>

s390x: add "IBM Secure Execution for Linux" support

If system contains ibm-z-hostkey (fetched during ignition), than
ostree generates 'sd-boot' image and reboots into Secure Execution

Signed-off-by: Nikita Dubrovskii <nikita@linux.ibm.com>

Merge pull request #2537 from jlebon/pr/fix-floating

lib/gpg-verify-result: Add missing floating annotation

lib/gpg-verify-result: Add missing floating annotation

I think I'm hitting issues due to this while using the Rust bindings:
https://github.com/coreos/rpm-ostree/pull/3406#issuecomment-1033084956

The bindings for those APIs use `from_glib_full` which says:

> Because ownership can only be transferred if something is already
> referenced, this is unsuitable for floating references.

Merge pull request #2535 from dbnicholson/summary-commit-version

lib/repo: Add commit version metadata to summary metadata

lib/repo: Add commit version metadata to summary metadata

The commit metadata `version` key is well established but getting it for
a remote commit is cumbersome since the commit object needs to be
fetched and loaded. Including it in the summary additional metadata
allows a much more convenient view of what each of the remote refs
represents.

Merge pull request #2534 from jlebon/pr/copr

Add COPR integration Makefile

I'd like to enable auto-builds of this repo to
https://copr.fedorainfracloud.org/coprs/g/CoreOS/continuous/ so it could
eventually feed into
https://github.com/coreos/fedora-coreos-tracker/issues/910.

ci/make-git-snapshot.sh: xz the archive

This matches `make dist` and what the spec file expects.

ci/make-git-snapshot.sh: auto-initialize submodules

Matches `autogen.sh`.

ci/make-git-snapshot.sh: fix archive name

The archive name is libostree even though the project name is ostree, so
we can't rely on the directory name.

Just hardcode it.

ci/libbuild.sh: drop yum/CentOS support

`dnf` is present in all the platforms we care about now, and the CentOS
bit is out of date. We can re-add it if we add e.g. C[89]S support with
the updated list of packages.

Motivated by noticing that the `yum` symlink isn't always present.

Merge pull request #2533 from lucab/ups/commit-cleanup-assertions

lib/commit: clean up assertions

This aligns all the assertion in the module. In particular, it gets
rid of all `g_return_val_if_fail` instances which may fail without
properly setting GError to the caller.

Merge pull request #2530 from smcv/update-libglnx-2525

Update libglnx submodule

Update submodule: libglnx

Resolves: https://gitlab.gnome.org/GNOME/libglnx/-/issues/3
Signed-off-by: Simon McVittie <smcv@collabora.com>

Merge pull request #2529 from smcv/static-delta-error-unwind

libotutil: Avoid infinite recursion during error unwinding

libotutil: Avoid infinite recursion during error unwinding

When we clean up from an error, for example copy_file_range() failing
while we generate a static delta (perhaps caused by
https://gitlab.gnome.org/GNOME/libglnx/-/issues/3 or by a
genuine write error), we might free a variant builder that has a
non-null parent. Previously, this caused infinite recursion and a stack
overflow, repeatedly freeing the same object, but Luca Bruno suggested
that the intention here appears to have been to free the parent object.

Partially resolves https://github.com/ostreedev/ostree/issues/2525
(the other bug reported in that issue needs to be resolved by updating
libglnx to a version where libglnx#3 has been fixed).

Signed-off-by: Simon McVittie <smcv@collabora.com>

Merge pull request #2524 from jlebon/pr/unlink-lock

lib/deploy: When deleting staged deployment, delete any lock

tests/kolainst: Avoid recursive symlinks

`kola` now follows symlinks when archiving an external test's `data/`
dir. So the recursive `data` symlink we have here breaks it.

Let's just move the shared files in its own directory and update the
symlinks.

Merge pull request #2526 from lucab/ups/openat-load-xattrs

lib/repo: open file only if required

lib/repo: open file only if required

This tightens up the logic for opening a file while inspecting its
xattrs. The only codepath fetching xattrs from a FD is the one
handling 'bare' mode.
It also rearranges the else-assert flow, mostly for future-proofing.

ostree/deploy: Test finalization locking

Support for that file was added previously, but the testing lived in
rpm-ostree only. Let's add it here too.

In the process add a hidden `--lock-finalization` to `ostree admin
deploy` to make testing easier (though it could also be useful to update
managers driving OSTree via the CLI).

lib/deploy: When deleting staged deployment, delete any lock

Otherwise, any future staged deployment will also automatically be
locked even if not requested. Likely we should fold the locking into the
primary `staged-deployment` serialized GVariant instead.

Merge pull request #2523 from lucab/ups/ls-gcancellable-gerror

builtin: use GCancellable and GError everywhere

builtin: use GCancellable and GError everywhere

This reworks `ostree ls` top-level logic so that cancellation
tokens and error details are plumbed through all codepaths.
It also gets rid of all previous goto jumps.

Merge pull request #2521 from cgwalters/syncfs-only-log

deploy: Also log to journal if we time out global sync()

deploy: Also log to journal if we time out global sync()

We do implicitly have this data because we log timings via structured
metadata in a later journal entry, but it's quite common to lose
the structured metadata because a lot of tooling just grabs the default
syslog-compatible text from `journalctl`.

Let's be louder when we hit this case as a general rule too; I think
most people shipping ostree systems want to see if it's happening.

Merge pull request #2520 from lucab/ups/builtin-commit-reject-empty-metadata

lib/commit: reject empty metadata keys

lib/commit: reject empty metadata keys

This adds one more check to the metadata validation logic in order
to reject empty metadata keys.

lib/commit: always validate metadata

This tweaks commit logic in order to always validate metadata,
including on commits where the expected checksum is already known.

Merge pull request #2519 from cgwalters/syncfs-only

deploy: Add a 5s max timeout on global filesystem `sync()`

deploy: Add a 5s max timeout on global filesystem `sync()`

https://bugzilla.redhat.com/show_bug.cgi?id=2003532

Basically there's a systemd bug where it's losing the `_netdev`
aspect of Ceph filesystem mounts.  This means the network is taken
down before Ceph is unmounted.  In turn, our invocation of `sync()`
blocks on Ceph, which won't succeed.

And this in turn manifests as a failure to transition to the new
deployment.

I initially did this patch to just rip out the global `sync()`.  I
am pretty sure we don't need it anymore.  We've been doing individual
`syncfs()` on `/sysroot` and `/boot` for a while now, and those
are the only filesystems we should be touching.  But *proving* that
is a whole other thing of course.

To be conservative, let's instead just add a timeout of 5s on
our invocation of `sync()`.  It doesn't return any information on
success/error anyways.

To allow testing without the `sync()` invocation, we also support
a new `OSTREE_SYSROOT_OPT_SKIP_SYNC=1` environment variable.  For
staged deployments, this needs to be injected via e.g. systemd unit
overrides into `ostree-finalize-staged.service`.

Implementing this is a bit hairy - we need to spawn a thread.  I
debated blocking in arecursive mainloop, but I think `g_cond_wait_until()`
is also fine here.

Merge pull request #2517 from dbnicholson/ubuntu-seccomp

github: Workaround glib/seccomp issue on Ubuntu impish

github: Workaround glib/seccomp issue on Ubuntu impish

The ubuntu-latest VMs are currently based on 20.04 (focal). In focal,
libseccomp2 doesn't know about the close_range syscall[1], but
g_spawn_sync in impish tries to use close_range since it's defined in
glibc. That causes libseccomp2 to return EPERM as it does for any
unknown syscalls. g_spawn_sync carries on silently instead of falling
back to other means of setting CLOEXEC on open FDs. Eventually it causes
some tests to hang since once side of a pipe is never closed. Remove
this when libseccomp2 in focal is updated or glib in impish handles the
EPERM better.

1. https://bugs.launchpad.net/ubuntu/+source/libseccomp/+bug/1944436

Fixes: #2495

Merge pull request #2516 from cgwalters/define-ostree-booted

sysroot: Add a public `#define OSTREE_PATH_BOOTED`

This is public API.  Motivated by
https://github.com/coreos/rpm-ostree/pull/3325/files#diff-56528694f6f3213d6fb88d872f77291412dceec263b57166519843b13eca9a4dR30

Merge pull request #2514 from lucab/ups/drop-setenv

libostree/sepolicy: get rid of a g_setenv() call

Merge pull request #2515 from cgwalters/cliwrap-lib

main: Also support CLI extensions in `/usr/libexec/libostree/ext`

main: Also support CLI extensions in `/usr/libexec/libostree/ext`

In fixing https://github.com/coreos/rpm-ostree/pull/3323
I felt that it was a bit ugly we're installing `/usr/bin/ostree-container`.

It's kind of an implementation detail.  We want users to use
`ostree container`.

Let's support values outside of $PATH too.

For example, this also ensures that TAB completion for `ost` expands
to `ostree ` with a space.

libostree/sepolicy: get rid of a g_setenv() call

This removes a 'g_setenv()' call, which could potentially be unsafe
in a multi-thread context.
The current libselinux codebase does not seem to check for
`LIBSELINUX_DISABLE_PCRE_PRECOMPILED`, so I think this has no effects
nowadays.
Additionally, I could not find any reference to it in libselinux
git history, so I'm not sure if it ever played any role at all.

My current understanding is that this is coming from version
incompatibilities between an older libselinux in the build environment
and a newer policy (with precompiled regexs) in the target.
But from the ML discussion I found, I think it eventually got
solved in a different way, possibly by avoiding the policy binary
caches.

Refs:
 * https://www.spinics.net/lists/selinux/msg14822.html
 * https://github.com/ostreedev/ostree/pull/2513#discussion_r781042884

Merge pull request #2513 from lucab/ups/setenv-error

ostree: check g_setenv return value

ostree: check g_setenv return value

This adds proper return-value checks on g_setenv calls.
It fixes a static analysis warning highlighted by Coverity.

Merge pull request #2512 from lucab/ups/variant-builder-error-memleak

libotutil: avoid leaking builder memory on error

libotutil: avoid leaking builder memory on error

This swaps the order of a couple of input sanity checks, in order
to fix a minor memory leak due to an early-return on the error
path.
Memory for the result is now allocated only after input has been
sanity-checked.
It fixes a static analysis warning highlighted by Coverity.

Merge pull request #2509 from ostreedev/release-2022.1

Release 2022.1

configure: post-release version bump

Release 2022.1

Merge pull request #2506 from lucab/ups/dependabot-config

github: add dependabot config

github: add dependabot config

This adds a configuration file for dependabot, taking care of automatic
updates for all git submodules.

Merge pull request #2376 from smcv/fuse3

rofiles-fuse: Build using FUSE 3 if possible, falling back to FUSE 2

rofiles-fuse: Build using FUSE 3 if possible, falling back to FUSE 2

This adds build-time configuration logic to automatically detect
and switch between libfuse 2.x and 3.x.

Signed-off-by: Simon McVittie <smcv@collabora.com>
Co-authored-by: Luca BRUNO <luca.bruno@coreos.com>